关于人工智能端侧芯片benchmark V0.5版本第二轮评估的通知
在芯片发展过程中，基于清晰指标的技术竞争可以帮助企业快速进步。中国人工智能产业发展联盟在3月已完成AIIA DNN benchmark V0.5首轮评估并发布了评测结果。以「版本迭代、不断丰富、不断完善」的方式，现拟开展第二轮人工智能端侧芯片基准测试V0.5版本评估。
Benchmark 测试将依据中国人工智能产业发展联盟评估规范《人工智能端侧芯片基准测试评估方案 测试方案Version 0.5》，提供「通用芯片 AI 能力评估」和「定制化芯片的 AI 能力评估」2 种方案评测方案, 覆盖了时间、性能评价指标以及功耗 3 类测评指标和多个应用场景。
欢迎各会员单位积极报名参与！
人工智能端侧芯片benchmark V0.5版评估（试评估）第二轮
《人工智能端侧芯片基准测试评估方案 测试方案Version 0.5》
1、商务确认：请有意参评的企业于4月30日前确认商务内容，商务确认后，即可参与测试工作。
联系人：张蔚敏 13552276063
zhangweimin@caict.ac.cn
2、材料审查和技术测试：4月20日至5月20日
3、测试评审：拟将邀请科研机构及AI芯片领域相关单位的专家，对此次评估测试进行评审，评审预计将于5月20日至24日期间进行。
4、结果公布：2019年5月底或6月
一、评估对象
具有机器学习处理能力的处理器或加速器，呈现形态包含但不局限于开发板，手机，以及适用于特定领域的如安防、自动驾驶、智能音箱等的专用芯片。
二、系统软件平台
Android 或 Linux
三、支持模型格式
基于TensorFlow/Pytorch(caffe2)训练的模型
四、支持移动端框架
HiAI / SNPE/TensorFlow Lite/Tengine /MACE
五、评测场景、数据集及网络框架
根据具体的被测对象，在指定精度（如int8/fp16/fp32）及batch size下的产品测试项目如表1所示。
表1评测场景列表
编号 | 应用场景 | 测试数据集 | 测试模型 |
1 | 图像分类 | ImageNet | ResNet-101， Inception-v3， MobileNet-v2 |
2 | 目标检测 | VOC2012 | SSD， YOLOv3 |
3 | 语义分割 | VOC2012 | Deeplabv3+， FCN |
4 | 超分辨率 | VOC2012 | vdsr |
5 | 人脸识别 | LFW | VGG-16-Face CNN |
六、其他说明
评测提供f32已训练好模型，模型转换与更多框架集成工作由参与单位提供相关开发与技术支持
「定制化芯片的 AI 能力评估」具体由商务沟通确定。
AIIA DNN benchmark将以「版本迭代、不断丰富、不断完善」开展，期待你的加入。